Tháng 5 năm 1962, ông bắt đầu tham gia công tác thanh thiếu niên tại địa phương, lên dần vị trí cán bộ cấp huyện. Ngày 10 tháng 3 năm 1969, ông được kết nạp vào Đảng Cộng sản Việt Nam.

Ngày 10/3/1969, ông gia nhập Đảng Cộng sản Việt Nam.[1]

Năm 1996, ông được phân công giữ chức Phó Chánh Văn phòng Trung ương Đảng Cộng sản Việt Nam.[1]

Tháng 4 năm 2001, ông được bầu làm Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá IX, phân công giữ chức Chánh Văn phòng Trung ương Đảng.[1]

Tháng 4 năm 2006, ông tái đắc cử Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá X.[1]

Sau đó ông trúng cử Đại biểu Quốc hội khoá XI.

Tháng 1 năm 2009, tại Hội nghị lần thứ 9 Ban Chấp hành Trung ương Đảng (khóa X), ông được bầu bổ sung vào Ban Bí thư Trung ương Đảng Cộng sản Việt Nam.[1]

Ngày 19 tháng 1 năm 2011, ông tái đắc cử Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá XI, được bầu làm Ủy viên Bộ Chính trị, được phân công làm Chủ nhiệm Ủy ban Kiểm tra Trung ương Đảng.[2]

Sau Đại hội Đảng Cộng sản Việt Nam XII, ông nghỉ hưu.

Ông có con rể Vũ Đại Thắng là Ủy viên dự khuyết Trung ương Đảng, Thứ trưởng Bộ Kế hoạch và Đầu tư.[cần dẫn nguồn]